행렬식과 대각합

행렬식은 선형대수학에서 중요한 개념이다. 행렬식은 선형 방정식 시스템의 분석과 해법에 있는 수학적 대상이다. 행렬식은 오직 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ , 즉 행과 열의 개수가 같은 행렬에 대해서만 정의된다. 이 책에서 우리는 행렬식을 $\det(A)$ 또는 때때로 $\vert A\vert$ 로 표기하며 다음과 같다.

$$ \det(A) = \begin{vmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{vmatrix} \quad (4.1) $$

정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 의 행렬식은 $A$ 를 실수로 매핑하는 함수이다.
일반적인 $n \times n$ 행렬에 대한 행렬식의 정의를 제공하기 전에, 몇 가지 동기를 부여하는 예제를 살펴보고 특수한 행렬들에 대한 행렬식을 정의해보자.

예제 4.1 (행렬 가역성 테스트)

정사각 행렬 $A$ 가 가역적인지(역행렬이 존재하는지) 탐구하는 것으로 시작해보자 (2.2.2절 참조). 가장 작은 경우들에 대해서, 우리는 언제 행렬이 가역적인지 이미 알고 있다. 만약 $A$ 가 $1 \times 1$ 행렬, 즉 스칼라 숫자라면, $A=a \implies A^{-1} = \frac{1}{a}$ 이다. 따라서 $a \frac{1}{a} = 1$ 은 오직 $a \neq 0$ 일 때만 성립한다.

$\quad$ $2 \times 2$ 행렬의 경우, 역행렬의 정의(정의 2.3)에 의해 우리는 $AA^{-1} = I$ 임을 안다. 그러면 (2.24)에 의해 $A$ 의 역행렬은 다음과 같다.

$$ A^{-1} = \frac{1}{a_{11}a_{22} - a_{12}a_{21}} \begin{bmatrix} a_{22} & -a_{12} \\ -a_{21} & a_{11} \end{bmatrix} \quad (4.2) $$

따라서, $A$ 는 오직 다음 조건일 때만 가역적이다.

$$ a_{11}a_{22} - a_{12}a_{21} \neq 0 \quad (4.3) $$

이 양(quantity)이 바로 $A \in \mathbb{R}^{2 \times 2}$ 의 행렬식이다. 즉,

$$ \det(A) = \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix} = a_{11}a_{22} - a_{12}a_{21} \quad (4.4) $$

$\quad$ 예제 4.1은 이미 행렬식과 역행렬 존재 사이의 관계를 지적하고 있다. 다음 정리는 $n \times n$ 행렬에 대해 동일한 결과를 서술한다.

정리 4.1. 임의의 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 에 대하여, $A$ 는 오직 $\det(A) \neq 0$ 일 때만 가역적이다.

$\quad$ 우리는 행렬의 원소들을 사용하여 작은 행렬의 행렬식에 대한 명시적인(닫힌 형태의) 표현식을 가지고 있다. $n=1$ 일 때,

$$ \det(A) = \det(a_{11}) = a_{11} \quad (4.5) $$

$n=2$ 일 때,

$$ \det(A) = \begin{vmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{vmatrix} = a_{11}a_{22} - a_{12}a_{21} \quad (4.6) $$

이는 우리가 앞선 예제에서 관찰했던 것이다.
$\quad$ $n=3$ 일 때 (사루스의 법칙, Sarrus’ rule로 알려져 있음),

$$ \begin{vmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{vmatrix} = a_{11}a_{22}a_{33} + a_{21}a_{32}a_{13} + a_{31}a_{12}a_{23} $$
$$ - a_{31}a_{22}a_{13} - a_{11}a_{32}a_{23} - a_{21}a_{12}a_{33} \quad (4.7) $$

사루스의 법칙에 있는 곱셈 항들을 기억하기 위한 보조 수단으로, 행렬 내의 세 원소의 곱을 따라가며 선을 그어보라.
$\quad$ 우리는 만약 $i > j$ 일 때 $T_{ij} = 0$ 이라면, 즉 대각선 아래쪽이 모두 0이라면 정사각 행렬 $T$ 를 상삼각 행렬(upper-triangular matrix)이라고 부른다. 유사하게, 우리는 대각선 위쪽이 모두 0인 행렬을 하삼각 행렬(lower-triangular matrix)로 정의한다. 삼각 행렬 $T \in \mathbb{R}^{n \times n}$ 에 대하여, 행렬식은 대각 원소들의 곱이다. 즉,

$$ \det(T) = \prod_{i=1}^{n} T_{ii} \quad (4.8) $$

예제 4.2 (부피 측정 도구로서의 행렬식)

행렬식의 개념은 우리가 그것을 $\mathbb{R}^n$ 의 객체를 생성(span)하는 $n$ 개의 벡터 집합으로부터의 사상(mapping)으로 고려할 때 자연스럽게 다가온다. 행렬식 $\det(A)$ 는 행렬 $A$ 의 열(column)들에 의해 형성된 $n$ 차원 평행육면체(parallelepiped)의 부호 있는 부피(signed volume)임이 밝혀졌다.

$\quad$ $n=2$ 일 때, 행렬의 열들은 평행사변형을 형성한다 (그림 4.2 참조).

figure 4.2.png

벡터 사이의 각도가 작아질수록, 평행사변형의 넓이도 줄어든다. 행렬 $A = [b, g]$ 의 열을 형성하는 두 벡터 $b, g$ 를 고려하자. 그러면 $A$ 의 행렬식의 절댓값은 꼭짓점 $0, b, g, b+g$ 를 갖는 평행사변형의 넓이이다. 특히, 만약 $b, g$ 가 선형 종속이어서 어떤 $\lambda \in \mathbb{R}$ 에 대해 $b = \lambda g$ 라면, 그들은 더 이상 2차원 평행사변형을 형성하지 않는다. 따라서 그에 상응하는 넓이는 0이다. 반대로, 만약 $b, g$ 가 선형 독립이고 표준 기저 벡터 $e_1, e_2$ 의 배수라면, 그들은 $b = \begin{bmatrix} b \ 0 \end{bmatrix}$ 그리고 $g = \begin{bmatrix} 0 \ g \end{bmatrix}$ 로 쓰일 수 있으며, 행렬식은 $\begin{vmatrix} b & 0 \ 0 & g \end{vmatrix} = bg - 0 = bg$ 가 된다.

$\quad$ 행렬식의 부호는 표준 기저 $(e_1, e_2)$ 에 대한 생성 벡터 $b, g$ 의 방향(orientation)을 나타낸다. 우리 그림에서, 순서를 $g, b$ 로 뒤집는 것은 $A$ 의 열을 교환하는 것이며 색칠된 영역의 방향을 반전시킨다. 이것은 우리에게 친숙한 공식인 넓이 = 높이 $\times$ 길이 가 된다. 이 직관은 더 높은 차원으로 확장된다. $\mathbb{R}^3$ 에서, 우리는 평행육면체(면들이 평행한 평행사변형인 입체 도형)의 모서리를 생성하는 세 벡터 $r, b, g \in \mathbb{R}^3$ 를 고려한다 (그림 4.3 참조).

figure 4.3.png

$3 \times 3$ 행렬 $[r, b, g]$ 의 행렬식의 절댓값은 이 입체의 부피이다. 따라서, 행렬식은 행렬 내에 구성된 열 벡터들에 의해 형성된 부호 있는 부피를 측정하는 함수로서 작동한다.

$\to$ 행렬식의 부호는 spanning vector의 방향을 나타낸다.

$\quad$ 다음과 같이 주어진 세 개의 선형 독립인 벡터 $r, g, b \in \mathbb{R}^3$ 를 고려하자.

$$ r = \begin{bmatrix} 2 \\ 0 \\ -8 \end{bmatrix}, \quad g = \begin{bmatrix} 6 \\ 1 \\ 0 \end{bmatrix}, \quad b = \begin{bmatrix} 1 \\ 4 \\ -1 \end{bmatrix} \quad (4.9) $$

이 벡터들을 행렬의 열로 작성하면,

$$ A = [r, g, b] = \begin{bmatrix} 2 & 6 & 1 \\ 0 & 1 & 4 \\ -8 & 0 & -1 \end{bmatrix} \quad (4.10) $$

우리는 원하는 부피를 다음과 같이 계산할 수 있다.

$$ V = \vert \det(A)\vert = 186 \quad (4.11) $$

$\quad$ $n \times n$ 행렬의 행렬식을 계산하려면 $n > 3$ 인 경우를 해결하기 위한 일반적인 알고리즘이 필요하며, 우리는 다음에서 이를 탐구할 것이다. 아래의 정리 4.2는 $n \times n$ 행렬의 행렬식 계산 문제를 $(n-1) \times (n-1)$ 행렬의 행렬식 계산 문제로 축소시킨다. 라플라스 전개(정리 4.2)를 재귀적으로 적용함으로써, 우리는 궁극적으로 $2 \times 2$ 행렬의 행렬식을 계산하여 $n \times n$ 행렬의 행렬식을 계산할 수 있다.

정리 4.2 (라플라스 전개). 행렬 $A \in \mathbb{R}^{n \times n}$ 를 고려하자. 그러면 모든 $j = 1, \dots, n$ 에 대하여:

  1. $j$ 번째 열(column)을 따른 전개
$$ \det(A) = \sum_{k=1}^{n} (-1)^{k+j} a_{kj} \det(A_{k,j}) \quad (4.12) $$
  1. $j$ 번째 행(row)을 따른 전개
$$ \det(A) = \sum_{k=1}^{n} (-1)^{k+j} a_{jk} \det(A_{j,k}) \quad (4.13) $$

여기서 $A_{k,j} \in \mathbb{R}^{(n-1) \times (n-1)}$ 은 $A$ 에서 $k$ 번째 행과 $j$ 번째 열을 삭제하여 얻은 부분 행렬(submatrix)이다.

예제 4.3 (라플라스 전개)

다음 행렬의 행렬식을 계산해보자.

$$ A = \begin{bmatrix} 1 & 2 & 3 \\ 3 & 1 & 2 \\ 0 & 0 & 1 \end{bmatrix} \quad (4.14) $$

첫 번째 행을 따라 라플라스 전개를 적용하면 (4.13)에 의해 다음을 얻는다.

$$ \begin{vmatrix} 1 & 2 & 3 \\ 3 & 1 & 2 \\ 0 & 0 & 1 \end{vmatrix} = (-1)^{1+1} \cdot 1 \cdot \begin{vmatrix} 1 & 2 \\ 0 & 1 \end{vmatrix} + (-1)^{1+2} \cdot 2 \cdot \begin{vmatrix} 3 & 2 \\ 0 & 1 \end{vmatrix} + (-1)^{1+3} \cdot 3 \cdot \begin{vmatrix} 3 & 1 \\ 0 & 0 \end{vmatrix} \quad (4.15) $$

우리는 (4.6)을 사용하여 모든 $2 \times 2$ 행렬의 행렬식을 계산하고 다음을 얻는다.

$$ \det(A) = 1(1-0) - 2(3-0) + 3(0-0) = -5 \quad (4.16) $$

$\quad$ 완전성을 위해, 우리는 이 결과를 사루스의 법칙 (4.7)을 사용하여 행렬식을 계산한 것과 비교할 수 있다:

$$ \det(A) = 1 \cdot 1 \cdot 1 + 3 \cdot 0 \cdot 3 + 0 \cdot 2 \cdot 2 - 0 \cdot 1 \cdot 3 - 1 \cdot 0 \cdot 2 - 3 \cdot 2 \cdot 1 = 1 - 6 = -5 \quad (4.17) $$

$A \in \mathbb{R}^{n \times n}$ 에 대하여 행렬식은 다음과 같은 성질을 보인다:

  • 행렬 곱의 행렬식은 각각의 행렬식의 곱과 같다. $\det(AB) = \det(A)\det(B)$ .( $\to$ 두 변환의 부피 변화율은 두 변환의 합성의 부피변화율과 같다)
  • 행렬식은 전치(transposition)에 불변이다. 즉, $\det(A) = \det(A^\top)$ .
  • 만약 $A$ 가 정칙(가역) 행렬이라면, $\det(A^{-1}) = \frac{1}{\det(A)}$ .( $\to$ $A A^{-1} = I$ 양변에 행렬식을 취하면 증명할 수 있다)
  • 닮은 행렬(정의 2.22)은 같은 행렬식을 가진다. 따라서, 선형 사상 $\Phi : V \to V$ 에 대하여 $\Phi$ 의 모든 변환 행렬 $A_{\Phi}$ 는 같은 행렬식을 가진다. 즉, 행렬식은 선형 사상의 기저 선택에 불변이다.( $\to$ $\det(A) = \det(P^{-1}AP)$ 로 증명할 수 있다)
  • 한 열/행의 배수를 다른 열/행에 더하는 것은 $\det(A)$ 를 변화시키지 않는다.
  • 열/행에 $\lambda \in \mathbb{R}$ 를 곱하면 $\det(A)$ 는 $\lambda$ 배가 된다. 특히, $\det(\lambda A) = \lambda^n \det(A)$ 이다.
  • 두 행/열을 교환하면 $\det(A)$ 의 부호가 바뀐다.
    마지막 세 가지 성질 덕분에, 우리는 가우스 소거법(2.1절 참조)을 사용하여 $A$ 를 행 사다리꼴(row-echelon form)로 만듦으로써 $\det(A)$ 를 계산할 수 있다. 우리는 $A$ 가 대각선 아래의 원소가 모두 0인 삼각 행렬 형태가 되었을 때 가우스 소거법을 멈출 수 있다. (4.8)에서 상기하듯 삼각 행렬의 행렬식은 대각 원소들의 곱이다.

정리 4.3. 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 은 오직 $\text{rk}(A) = n$ 일 때만 $\det(A) \neq 0$ 이다. 달리 말해, $A$ 는 오직 풀 랭크(full rank)일 때만 가역적이다.

$\quad$ 수학이 주로 손으로 수행되던 시절에는, 행렬식 계산이 행렬의 가역성을 분석하는 필수적인 방법으로 여겨졌다. 그러나 현대의 머신러닝 접근법들은 행렬식의 명시적인 계산을 대체하는 직접적인 수치적 방법들을 사용한다. 예를 들어, 2장에서 우리는 역행렬이 가우스 소거법으로 계산될 수 있음을 배웠다. 따라서 가우스 소거법은 행렬의 행렬식을 계산하는 데 사용될 수 있다.
$\quad$ 행렬식은 다음 섹션들, 특히 우리가 특성 다항식(characteristic polynomial)을 통해 고유값과 고유벡터(4.2절)에 대해 배울 때 중요한 이론적 역할을 할 것이다.

정의 4.4. 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 의 대각합(trace)은 다음과 같이 정의된다.

$$ \text{tr}(A) := \sum_{i=1}^{n} a_{ii} \quad (4.18) $$

즉, 대각합은 $A$ 의 대각 원소들의 합이다.

$\quad$ 대각합은 다음 성질들을 만족한다:

  • $A, B \in \mathbb{R}^{n \times n}$ 에 대하여 $\text{tr}(A + B) = \text{tr}(A) + \text{tr}(B)$ .
  • $A \in \mathbb{R}^{n \times n}, \alpha \in \mathbb{R}$ 에 대하여 $\text{tr}(\alpha A) = \alpha \text{tr}(A)$ .
  • $\text{tr}(I_n) = n$ .
  • $A \in \mathbb{R}^{n \times k}, B \in \mathbb{R}^{k \times n}$ 에 대하여 $\text{tr}(AB) = \text{tr}(BA)$ .
    오직 하나의 함수만이 이 네 가지 성질을 모두 만족하며, 그것이 바로 대각합이라는 것을 보일 수 있다 (Gohberg et al., 2012).

$\to$ 행렬식은 곱셈에 대한 분배법칙( $\det(AB) = \det(A)\det(B)$ )은 성립하지만, 덧셈에 대한 분배법칙( $\det(A+B) \neq \det(A) + \det(B)$ )은 성립하지 않는다. 이는 단위행렬의 덧셈으로 증명할 수 있다.

$\to$ 대각합은 덧셈에 대한 분배법칙( $\text{tr}(A+B) = \text{tr}(A) + \text{tr}(B)$ )은 성립하지만, 곱셈에 대한 분배법칙( $\text{tr}(AB) \neq \text{tr}(A)\text{tr}(B)$ )은 성립하지 않는다. 이 역시 단위행렬의 곱셈으로 증명할 수 있다.

$\quad$ 행렬 곱의 대각합 성질은 더 일반적이다. 구체적으로, 대각합은 순환 치환(cyclic permutations)에 대해 불변이다.( $\to$ 행렬의 교환법칙이 성립하지 않음과 대각합의 교환법칙이 성립함을 이용한다. 예를 들어 두 변환의 합성 $KL$ 을 변환 $X$ 로 두면 증명할 수 있다.)

$$ \text{tr}(AKL) = \text{tr}(KLA) \quad (4.19) $$

행렬 $A \in \mathbb{R}^{a \times k}, K \in \mathbb{R}^{k \times l}, L \in \mathbb{R}^{l \times a}$ 에 대하여. 이 성질은 임의의 개수의 행렬 곱으로 일반화된다. (4.19)의 특수한 경우로서, 두 벡터 $x, y \in \mathbb{R}^n$ 에 대하여 다음이 성립한다.

$$ \text{tr}(xy^\top) = \text{tr}(y^\top x) = y^\top x \in \mathbb{R} \quad (4.20) $$

$\quad$ 벡터 공간 $V$ 에서 $V$ 로의 선형 사상 $\Phi : V \to V$ 가 주어졌을 때, 우리는 $\Phi$ 의 행렬 표현의 대각합을 사용하여 이 사상의 대각합을 정의한다. $V$ 의 주어진 기저에 대하여, 우리는 변환 행렬 $A$ 를 통해 $\Phi$ 를 기술할 수 있다. 그러면 $\Phi$ 의 대각합은 $A$ 의 대각합이다. $V$ 의 다른 기저에 대해서는, $\Phi$ 의 대응하는 변환 행렬 $B$ 가 적절한 $S$ 에 대해 $S^{-1}AS$ 형태의 기저 변경(2.7.2절 참조)에 의해 얻어질 수 있다는 것이 성립한다. $\Phi$ 의 대응하는 대각합에 대하여, 이것은 다음을 의미한다.

$$ \text{tr}(B) = \text{tr}(S^{-1}AS) \stackrel{(4.19)}{=} \text{tr}(ASS^{-1}) = \text{tr}(A) \quad (4.21) $$

따라서, 선형 사상의 행렬 표현은 기저에 의존적이지만, 선형 사상 $\Phi$ 의 대각합은 기저에 독립적이다.( $\to$ 어떤 변환이 기저에 따라 행렬 표현이 바뀔 수 있지만, 그 변환 고유의 성질은 변하지 않는다.)
$\quad$ 이 섹션에서, 우리는 정사각 행렬을 특징짓는 함수로서 행렬식과 대각합을 다루었다. 행렬식과 대각합에 대한 우리의 이해를 종합하여, 우리는 이제 행렬 $A$ 를 다항식의 관점에서 기술하는 중요한 방정식을 정의할 수 있으며, 이는 다음 섹션들에서 광범위하게 사용될 것이다.

정의 4.5 (특성 다항식). $\lambda \in \mathbb{R}$ 와 정사각 행렬 $A \in \mathbb{R}^{n \times n}$ 에 대하여,

$$ \begin{aligned} p_A(\lambda) &:= \det(A - \lambda I) \quad (4.22a) \\ &= c_0 + c_1\lambda + c_2\lambda^2 + \dots + c_{n-1}\lambda^{n-1} + (-1)^n\lambda^n \quad (4.22b) \end{aligned} $$

$c_0, \dots, c_{n-1} \in \mathbb{R}$ 인 이 다항식을 $A$ 의 특성 다항식(characteristic polynomial)이라고 한다. 특히, 다음이 성립한다.

$$ c_0 = \det(A), \quad (4.23) $$
$$ c_{n-1} = (-1)^{n-1}\text{tr}(A). \quad (4.24) $$

$\to$ $\lambda$ 를 구하려면 특성 다항식(4.22b)을 0으로 놓고 그 방정식의 해를 구하면 된다. 그 해가 행렬 $A$ 의 고유값이다.

특성 다항식 (4.22a)는 우리가 다음 섹션에서 다룰 고유값과 고유벡터를 계산할 수 있게 해 준다.